12. 多項分布による分析

https://gyazo.com/4f7dfd91756d579cff6ea820ee6ff329

12.1 多項分布

A型がひとり観察される確率は(11.6)式を拡張して次のように表現できる

$ f(A型|p_1, p_2, p_3, p_4)= p_1^1p_2^0p_3^0p_4^0 = p_1 \qquad (12.1)

独立に抽出した10人を継時的に観察し、その結果が

$ (A, B, A, O, B, A, AB, B, A, O) \qquad (12.2)

の順に並ぶ確率は(11.8)式からのアナロジーで

$ p_1 \times p_2 \times p_1, \times p_3 \times p_2, \times p_1 \times p_4 \times p_2 \times p_1 \times p_3 = p_1^4p_2^3p_3^2p_4^1

(12.2)式はそのなかのたった1つに過ぎない

$ f(\bm x|p_1, p_2, p_3, p_4) = \frac{10!}{4! \times 3! \times 2! \times1!}p_1^4p_2^3p_3^2p_4^1 \qquad (12.3)

以上のことを一般化する

$ f(\bm x|\bm p) = \frac{n!}{x1! \times \cdots \times x_k!}p_1^{x_1}\times \cdots p_k^{x_k} \qquad (12.4)

$ n = x_1 + \cdots + x_k \qquad (12.5)

$ 1 = p_1 + \cdots + p_k \qquad (12.6)

と導かれる

12.2. 比率の推測(1つの多項分布)

ペット問題

初めて飼ったペットの種類が質問された

table: 表12-1 初めて飼ったペット(人数)

カテゴリー 犬 猫 魚 鳥 その他 計

人数 32 29 18 15 10 104

母比率を推測せよ

(2.12)式に相当する尤度としては多項分布(12.4)式を利用する

事前分布としては、確率の定義域に対する一様分布を利用する

ただし(12.6)式の制約を反映させる必要がある

$ \ddot{p}_i \sim U(0, 1) \qquad (12.7)

$ p_i = \frac{\ddot p_i}{\ddot p_1 + \cdots + \ddot p_k} \qquad (12.8)

一様分布は定数だから

$ f(\bm p) = f(\ddot \bm p) = f(\ddot p_1) \times \cdots f(\ddot p_k) \qquad (12.9)

であり、(2.15)式に相当する事後分布を導く

$ f(\bm p|\bm x) \propto f(\bm x|\bm p)f(\bm p) \qquad (12.10)

MCMC法を利用して、事後分布・生成量・予測分布に従う乱数を生成することが可能となる

table: 表12-2 「ペット問題」の比率の事後分布

EAP post.sd 2.5% 5% 50% 95% 97.5%

p_1 0.303 0.044 0.220 0.233 0.302 0.377 0.392

p_2 0.275 0.043 0.196 0.207 0.274 0.348 0.363

p_3 0.174 0.036 0.109 0.118 0.172 0.237 0.251

p_4 0.147 0.034 0.087 0.095 0.145 0.206 0.219

p_5 0.101 0.029 0.052 0.058 0.098 0.152 0.164

12.2.1. カテゴリ間の比較

$ u_{p_i>p_j}^{(t)} = \begin{cases} 1 & p_i^{(t)} > p_j^{(t)} \\ 0 & それ以外の場合\end{cases} \qquad (12.11)

table: 12-3 行iのカテゴリの確率が列jのカテゴリの確率より大きい確率

カテゴリ p_1 p_2 p_3 p_4 p_5

p_1(犬) 0.000 0.648 0.975 0.993 1.000

p_2(猫) 0.352 0.000 0.944 0.982 0.999

p_3(魚) 0.025 0.056 0.000 0.696 0.931

p_4(鳥) 0.007 0.018 0.304 0.000 0.835

p_5(その他) 0.000 0.001 0.069 0.165 0.000

12.2.2. 連言命題が正しい確率

表12-3は、2つのカテゴリの確率の比率の確率としてはそのまま解釈可能

ただし、複数の比較が同時に成り立つ確率とは異なる

たとえば研究上の問い「『犬』『猫』『魚』『鳥』の順に比率が高い」が正しい確率を求める

$ u_{p_1>p_2}^{(t)} \times u_{p_2>p_3}^{(t)} \times u_{p_3>p_4}^{(t)} \qquad (12.12)

のEAPが求めたい確率となる。

制約を緩めて研究上の問い「『犬』や『猫』は『魚』や『鳥』より比率が高い」が正しい確率を求める

$ u_{p_1>p_3}^{(t)} \times u_{p_2>p_3}^{(t)} \times u_{p_1>p_4}^{(t)} \times u_{p_2>p_4}^{(t)} \qquad (12.13)

のEAPが求めたい確率となる

12.3. 対応ある2×2のクロス表の推測

1つの標本から2回の測定が行われたカウントデータを分析するための多項分布モデルを学ぶ

対応ある2×2のクロス表の推測を行う

このクロス表は一見すると表11-3に似ている

この場合は1人の回答者に2つの質問をしているから賛否に対するデータは互いに独立ではない

ブランド認知問題

あるアンケート調査で、ブランドAを知っているか否か(認知、非認知)と、ブランドBを知っているか否かという2つの質問に対する回答を集計した

table: 表12-4 2つのブランドの認知のクロス表(人数)

B認知 B非認知 計

A認知 70 30 100

A非認知 28 72 100

計 98 102 200

2つの回答における認知の関係を分析せよ

table: 表12-5 対応ある2×2のクロス表

B_1 B_2 計

A_1 x_{11} x_{12} x_{1.}

A_2 x_{21} x_{22} x_{2.}

計 x_{.1} x_{.2} n

同時度数と周辺度数の性質

$ x_{.j} = x_{1j} + x_{2j}, \quad x_{i.} = x_{i1} + x_{i2}, \qquad (12.14)

$ n = x_{1.} + x_{2.} = x_{.1} + x_{.2} = x_{11} + x_{21} + x_{12} + x_{22} \qquad (12.15)

table: 表12-6 出現確率の母比率

B_1 B_2 計

A_1 p_{11} p_{12} p_{1.}

A_2 p_{21} p_{22} p_{2.}

計 p_{.1} p_{.2} 1.0

table: 表12-7 2つのブランドの認知の標本比率

B認知 B非認知 計

A認知 0.35 0.15 0.50

A非認知 0.14 0.36 0.50

計 0.49 0.51 1.00

同時確率と周辺確率の性質

$ p_{.j} = p_{1j} + p_{2j}, \quad p_{i.} = p_{i1} + p_{i2}, \qquad (12.16)

$ 1.0 = p_{1.} + p_{2.} = p_{.1} + p_{.2} = p_{11} + p_{21} + p_{12} + p_{22} \qquad (12.17)

$ f(\bm x|\bm p) = f(x_{11}, x_{12}, x_{21}, x_{22}|p_{11}, p_{12}, p_{21}, p_{22}) \qquad (12.18)

事前分布としては、確率の定義域に対する一様分布を利用する

ただし(12.6)式の制約(直接的には(12.17)式の最左辺と最右辺の制約)を反映させる必要がある

$ \ddot p_{ij} \sim U(0, 1) \qquad (12.19)

とし、

$ p_{ij} = \frac{\ddot p_{ij}}{\ddot p_{11} + \ddot p_{12} + \ddot p_{21} + \ddot p_{22}} \qquad (12.20)

一様分布は定数だから

$ f(\bm p) = f(\ddot p_{11}, \ddot p_{12}, \ddot p_{21}, \ddot p_{22}) = f(\ddot p_{11}) \times f(\ddot p_{12}) \times f(\ddot p_{21}) \times f(\ddot p_{22}) \qquad (12.21)

であり、(2.15)式に相当する事後分布を

$ f(\bm p|\bm x) \propto f(\bm x|\bm p)f(\bm p) \qquad (12.22)

と導き、母数の事後分布と予測分布をMCMCで近似する

table: 表12-8 「ブランド認知問題2」の母数の事後分布

EAP post.sd 2.5% 5% 50% 95% 97.5%

p_{11} 0.348 0.033 0.284 0.294 0.348 0.404 0.415

p_{12} 0.152 0.025 0.106 0.113 0.151 0.195 0.204

p_{21} 0.142 0.024 0.098 0.104 0.141 0.184 0.193

p_{22} 0.358 0.034 0.294 0.303 0.357 0.414 0.425

12.3.1. 独立と連関

$ f(B_j) = f(B_j|A_i) \qquad (12.23)

$ f(A_i, B_j) = f(A_i)f(B_j) \qquad (12.24)

である

なお、(12.24)式は次式に変換できるから、(12.23)式が成り立てば(12.25)式も成り立つ

$ f(A_i) = f(A_i|B_j) \qquad (12.25)

これを本章の表記に直すと

$ p_{ij} = p_{i.}p_{.j} \qquad (12.26)

それに対して

$ p_{ij} \neq p_{i.}p_{.j} \qquad (12.27)

表12-7を観察すると、ブランドBを知っている人は49%であり、ほぼ半分

70%もの人がブランドBを知っている

つまりブランドAを知っている人は、ブランドBも知っている傾向があると解釈できる

table: 表12-9 独立なクロス表

B認知 B非認知 計

A認知 49 51 100

A非認知 49 51 100

計 98 102 200

table: 表12-10 独立なクロス表の確率

B認知 B非認知 計

A認知 0.245 0.255 0.5

A非認知 0.245 0.255 0.5

計 0.49 0.51 1.0

データ数、周辺度数、周辺確率は表12-7と同じ

ブランドBを知っている人は49%であり、ほぼ半分

しかし今度はブランドAを知っている人に限定しても、ブランドBを知っている人は49%

つまり、ブランドAの認知はブランドBの認知に影響しない

独立

(12.26)式は以下のように確認できる

$ 0.245 = 0.49 \times 0.500 \qquad (12.28)

$ 0.255 = 0.51 \times 0.500 \qquad (12.29)

12.3.2. ピアソン残差・クラメルの連関計数

$ e_{ij} - \frac{p_{ij} - p_{i.}p_{,j}}{\sqrt{p_{i.}p_{.j}}} \qquad (12.30)

ピアソン残差が正のセルは独立な場合より高い比率で観察され、負のセルは独立な場合より低い比率で観察される

また絶対値が大きくなるとその傾向が強くなると解釈する

$ V = \sqrt{e_{11}^2 + e_{12}^2 + e_{21}^2 + e_{22}^2} \qquad (12.31)

周辺確率、ピアソン残差、クラメルの連関計数の事後分布は生成量

$ p_{.j}^{(t)} = p_{1j}^{(t)} + p_{2j}^{(t)}, \quad p_{i.}^{(t)} = p_{i1}^{(t)} + p_{i2}^{(t)} \qquad (12.32)

$ e_{ij}^{(t)} = \frac{p_{ij}^{(t)} - p_{i.}^{(t)}p_{.j}^{(t)}}{\sqrt{p_{i.}^{(t)}p_{.j}^{(t)}}} \qquad (12.33)

$ V^{(t)} = \sqrt{e_{11}^{2(t)} + e_{12}^{2(t)} + e_{21}^{2(t)} + e_{22}^{2(t)}} \qquad (12.34)

によって近似する

https://gyazo.com/1bd923b889b358af88c56a3062c5fa3b

ブランドAを知っている人はブランドBも知っている確率が高く、ブランドAを知らない人はブランドBも知らない確率が高いということである

12.4. 対応あるa×bのクロス表の推測

パスタ問題

「パスタ」に対してどんな「トッピング」を選んだのかを集計した

table: 表12-12 パスタに選ばれたトッピング

バジル トリュフ なし 計

トマトの冷製 19 9 6 34

カルボナーラ 10 19 5 34

ペペロンチーノ 15 14 18 47

計 44 42 29 115

https://gyazo.com/862fe465c62343aae6b8ffc757d2a595

同時度数と周辺度数の性質

$ x_{.j} = x_{1j} \cdots + x_{aj}, \quad x_{i.} = x_{i1} + \cdots + x_{ib}, \qquad (12.35)

$ n = x_{1.} + \cdots + x_{a.} = x_{.1} + \cdots + x_{.b} \qquad (12.36)

同時確率と周辺確率の性質

$ p_{.j} = p_{1j} \cdots + p_{aj}, \quad p_{i.} = p_{i1} + \cdots + p_{ib}, \qquad (12.37)

$ 1.0 = p_{1.} + \cdots + p_{a.} = p_{.1} + \cdots + p_{.b} \qquad (12.38)

$ \bm x = (x_{11} \cdots x_{1j} \cdots x_{1b} \cdots x_{i1} \cdots x_{ij} \cdots x_{ib} \cdots x_{a1} \cdots x_{aj} \cdots x_{ab}) \qquad (12.39)

$ \bm p = (p_{11} \cdots p_{1j} \cdots p_{1b} \cdots p_{i1} \cdots p_{ij} \cdots p_{ib} \cdots p_{a1} \cdots p_{aj} \cdots p_{ab}) \qquad (12.40)

と表記したとき、母数の尤度は多項分布

$ f(\bm x|\bm p) \qquad (12.41)

で表現される

事前分布としては、確率の定義域に対する一様分布を利用する

$ p_{ij} = \frac{\ddot p_{ij}}{\ddot p_{11} + \cdots + \ddot p_{1j} \cdots\cdots + \ddot p_{ij} \cdots\cdots + \ddot p_{aj} + \cdots + \ddot p_{ab}} \qquad (12.42)

$ f(\bm p|\bm x) \propto f(\bm x|\bm p)f(\bm p) \qquad (12.43)

と導かれる

https://gyazo.com/8c9c2a666c18bb649b5b01c90801031d

https://gyazo.com/d7974b4e6b83d2c9f6928bb674a1cdee

$ V = \sqrt{\frac{e_{11}^2 + \cdots + e_{1j}^2 + \cdots e_{1b}^2 + \cdots + e_{a1}^2 + \cdots e_{aj}^2 + \cdots + e_{ab}^2}{min(a,b)-1}} \qquad (12.44)

「トッピング」の周辺確率

「バジル」「トリュフ」「なし」の順に選ばれている

周辺確率からペペロンチーノがもっとも注文されていることがわかる

表12-17にピアソン残差が正である確率(上)と負である確率(下)を示した

https://gyazo.com/cde45e362a21552155eafd083dab982c

傾向

「トマトの冷製」の客は「バジル」を選び、「トリュフ」は避ける

「カルボナーラ」の客は「トリュフ」を選び「なし」は避ける

「ペペロンチーノ」の客はトッピングを選ばない

12.4.1. 連言命題が正しい確率

表12−17の確率は、2つのカテゴリの大小比較の確率としては、そのまま解釈可能

ただし複数の比較が同時に成り立つ確率とは異なる

研究上の問い「『トマトの冷製』の客は『バジル』を選び『トリュフ』は避けること、『カルボナーラ』の客は『トリュフ』を選び『なし』は避けること、『ペペロンチーノ』の客はトッピングを選ばない」が同時に正しい確率

$ u_{e_{11}>0}^{(t)} \times u_{e_{22}>0}^{(t)} \times u_{e_{33}>0}^{(t)} u_{e_{12}<0}^{(t)} \times u_{e_{23}<0}^{(t)} \qquad (12.45)

のEAPが求めたい確率となる

条件を緩めて、研究上の問い「『トマトの冷製』の客は『バジル』を選び、『カルボナーラ』の客は『トリュフ』を選び、『ペペロンチーノ』の客はトッピングを選ばない」が同時に正しい確率を求める

$ u_{e_{11}>0}^{(t)} \times u_{e_{22}>0}^{(t)} \times u_{e_{33}>0}^{(t)} \qquad (12.46)

のEAPが求めたい確率となる

放送授業

標準偏差や相関係数や比率は、事前分布を一様分布とすると、標本統計値と伝統的な最尤推定値とMAP推定値の3つが一致する

post.sdは、MAPやMEDではなく、EAPの精度を示している

点として最頻値を計算するのは、初学者には難しい

EAPは初学者向きである。学習の進度に応じて好きな推定量を使用してよい